Lịch sử phát triển của ổ đĩa mềm luôn song hành với sự phát triển của đĩa mềm, được bắt đầu từ khi Alan Shugart (lúc đang làm việc cho IBM) phát minh ra ổ đĩa mềm vào năm 1967. Shugart đã có nhiều cải tiến với loại đĩa mềm 8" như thêm một lớp vỏ bọc để bảo vệ. Năm 1968 Shugart rời khỏi IBM và thành lập công ty riêng, lúc này anh giới thiệu loại đĩa mềm 5,25". Loại đĩa mềm 5,25" đã trở thành một chuẩn phổ biến cho các máy tính thời đó, nó thay thế các loại đĩa mềm 8".
Sony đã giới thiệu các loại đĩa mềm 3,5" đầu tiên vào năm 1981. Nhưng công ty đầu tiên đưa đĩa mềm 3,5" vào sử dụng là HP với hệ thống HP-150 vào năm 1984. Đến năm 1987 thì IBM đã chuyển hoàn toàn các loại đĩa 5,25" sang loại 3,5", và từ đó chúng được sử dụng cho đến nay.

Do có các phương tiện lưu trữ dữ liệu khác có nhiều ưu điểm hơn hẳn so với lưu trữ bằng đĩa mềm nên ổ đĩa mềm hiếm khi còn sử dụng, chúng dần biến mất khỏi các máy tính ngày nay.